Yeh James

Follow

JamesLearningNote

--

支援向量機(Support Vector Machine)簡稱SVM這個名字光看字面三個字的意思都懂，但合起來就完全看不懂了。不過SVM概念很簡單，先聽我說個故事

有一天上帝給了你一個考驗，要你用一個棍子將這兩顆不同顏色的球分開

於是你使用在3.2講所提到的Perceptron或是3.3講的Logistic Regression順利找個一個放棍子的方法將這兩種不同顏色的球分開，

於是上帝又創造一些球出來，你發現原先棍子擺放位子很容易造成未來產生的球的分類錯誤

因此你發現應該要將棍子調整成這樣才能夠在更準確分類在未來產生的球（這就是SVM最主要的核心概念）

上帝發現你已經成長了不少了，簡單的問題難不了你，因此又出一道考題給你，要如何正確分類以下的球

觀察一下後你發現紅球、藍球的質量不太一樣，這時你靈機一動，深呼吸一口氣，將你的查克拉聚集在手上，大力一拍桌子，讓這些球飛到空中，你再拿一張白紙將將些球分開

從正上方的視角來看這藍球跟紅球就像是被一條虛擬的線分開了

到這邊我們可以大概了解SVM是一個很強大的演算法，除了能得到一條很好的線之外，還可以做非線性的分類！

那SVM是怎麼得到那條很好的線呢？以直線來說，首先紅色的線會創造兩條黑色平行於紅色線的虛線，並讓黑線平移碰到最近的一個點，紅線到黑線的距離稱為Margin，而SVM就是透過去找Margin最大的那個紅線，來找最好的線

那要怎麼讓Margin最大呢？

假設紅線是w*x = 0 在紅線上方的區域就是w*x >0 紅線下方的區域就是w*x